À trop flotter, on prend le risque de couler

Rapidité vs précision : deux experts nous expliquent les enjeux des GPU modernes sur les IA

Abonnez-vous pour tout dévorer et ne rien manquer.

Déjà abonné ? Se connecter

Abonnez-vous

Afin d’augmenter les performances de calculs de ses GPU (les fameux TFLOPS), NVIDIA ajoute des niveaux de précision supplémentaires : 8 bits avec Hopper, 6 et 4 bits avec Blackwell. Que cela implique-t-il ? Qu’en pensent les scientifiques ? Réponses croisées de Léo Hunout (IDRIS) et Stéphane Requena (GENCI).

Lors de l’annonce de son nouveau GPU Blackwell (B200) qui a la lourde tâche de remplacer Hopper (H100), NVIDIA mettait en avant une débauche de TFLOPS : jusqu’à pas moins de 20 000, contre 4 000 pour la génération précédente. Comme nous l’avions détaillé, deux points sont à prendre en compte, au-delà des chiffres.

Hopper ajoute FP8, Blackwell FP6 et FP4

Tout d’abord, Blackwell est un assemblage de deux GPU sur une seule et même puce, ce qui n’était pas le cas avec Hopper. Cela permet de doubler les performances à moindre coût. Ensuite, les TFLOPS sont avec une précision réduite en FP4.

Si on met en face Blackwell et Hopper sur une base comparable (un seul GPU, en FP8), on passe de 3 958 à 5 000 TFLOPS avec le saut de génération. Le FP8 a pour rappel été introduit par NVIDIA avec Hopper, et avec le succès que l’on connait du GPU pour l’entrainement et l’inférence des IA génératives (nous y reviendrons).

Mais Blackwell intègre deux GPU : les performances sont donc doublées, rien à redire sur ce point. Reste la question de la précision FP4 lancée par NVIDIA. Est-ce que cela correspond à une réalité sur le terrain des intelligences artificielles ? La baisse constante de la précision (FP32, FP16, Bfloat16, FP8…) permet-elle d’augmenter significativement les performances ?

Nous avons posé ces questions à deux spécialistes du domaine : Léo Hunout, ingénieur spécialiste en intelligence Artificielle à l'IDRIS (CNRS), ainsi que Stéphane Requena, directeur innovation et technologie au Grand équipement national de calcul intensif (GENCI).

Le FP8 et FP4 sont « très intéressants » pour l’intelligence artificielle

Abonnez-vous pour tout dévorer et ne rien manquer.

Déjà abonné ? Se connecter

Abonnez-vous

Commentaires (8)


« En réalité, on finira par atteindre le plancher de la représentation de l'information, c'est le Graal de ceux qui font de la compression sans perte et, finalement, c'est ce que fait un LLM dans une certaine mesure ».


Je soupçonnais un truc de ce genre dans mes commentaires quand on parlait des IA qui copiaient les œuvres existantes : la course à la performance des LLM les transformaient en système de compression de l'information. Je ne pensais pas cependant être si près de la vérité.
On en parlait en octobre dernier https://next.ink/812/les-modeles-langage-sont-redoutables-outils-compression-sans-perte/ ;)

Martin Clavey

On en parlait en octobre dernier https://next.ink/812/les-modeles-langage-sont-redoutables-outils-compression-sans-perte/ ;)
Bon rappel.
Je pense que je ne m'en souvenais pas quand j'ai fait ce type de commentaires qui portait aussi sur la génération d'images, mais de toute façon, les technos de compression ont les mêmes fondements que ce soit du texte ou des images.
Modifié le 15/04/2024 à 12h26

Historique des modifications :

Posté le 15/04/2024 à 12h25


Bon rappel.
Je pense que je ne m'en souvenais pas quand j'ai fait ce type de commentaire qui portait aussi sur la génération d'images, mais de toute façon, les technos de compression ont les mêmes fondements que ce soit du texte ou des images.

fred42

Bon rappel.
Je pense que je ne m'en souvenais pas quand j'ai fait ce type de commentaires qui portait aussi sur la génération d'images, mais de toute façon, les technos de compression ont les mêmes fondements que ce soit du texte ou des images.
La compression c'est même ce qui permet à Stable Diffusion de pouvoir tourner sur du GPU type consumer et pas une ferme de ouf. Lorsqu'un modèle est entraîné ou bien quand il traite un prompt, il réduit le calcul en cours dans un espace latent beaucoup plus petit qui permet de faire des itérations plus rapides. Une fois terminé, son module principal s'occupe de décompresser le résultat de l'espace latent et finaliser la production.

C'est une grosse différence par rapport à d'autres modèles qui travaillent uniquement en pixel space, ce qui demande beaucoup plus de ressources.
une variante LLM 1 bit, à savoir BitNet b1.58, dans laquelle chaque paramètre (ou poids) du LLM est ternaire {-1, 0, 1}

Comment peut on avoir 3 valeur sur 1 seul bit ? C'est 0 ou 1 si on veut le signe il faut 1 bit de plus pour l'encoder non ?
En fait, ce n'est pas un LLM à 1 bit, c'est une variante d'un LLM à 1 bit. La valeur ternaire se retrouve encodée sur 1,58 bits, d'où le nom. On peut retrouver l'article sur arxiv.org (en anglais).
Modifié le 16/04/2024 à 08h22

Historique des modifications :

Posté le 15/04/2024 à 11h38


En fait, ce n'est pas un LLM à 1 bit, c'est une variante d'un LLM à 1 bit. La valeur ternaire se retrouve encodée sur 1,58 bits, d'où le nom. On peut retrouver l'article sur arxiv.org (en englais).

Pour des explications : https://arxiv.org/pdf/2402.17764.pdf
Modifié le 15/04/2024 à 15h13

Historique des modifications :

Posté le 15/04/2024 à 15h12


Pour des explications : https://arxiv.org/pdf/2402.17764.pdf

Posté le 15/04/2024 à 15h13


Pour des explications : https://arxiv.org/pdf/2402.17764.pdf

Merci pour cet article qui clarifie les choses. C'est un sujet qui sera à surveiller sur les évolutions futures des gpus.
Fermer